Digital Peacebuilding Expo: Talk to the City
https://www.youtube.com/watch?v=zDGl_RwWSCQ
Silent Cryという、刑務所から出所した人々や家族の社会復帰を支援する団体と協力。Britneyが12人にインタビューし、その書き起こしをGPT-4に学習させた。 参加者全員と内容を確認し、精度を高めていった。最終的な誤りは3％未満。
今後は、誰でも簡単に使えるようにツールを改良し、WhatsAppなどとの連携も検討。台湾の市民集会のデータでも試験的に使用された。 データのプライバシーや使用方法については、状況に応じて参加者に説明。将来的にはオープンソースモデルを使い、コミュニティがデータを管理できるようにしたい。
障がい者や社会的弱者の声を可視化し、AIで課題解決につなげる取り組みとして注目されます。一方で、データの扱いには慎重さも求められそうです。 nishio.iconインタビューから"最終的な誤りは3％未満"までをもっと詳細に
claude.icon
インタビューの書き起こしをGPT-4に学習させた結果、AIが約500の主張（claim）を生成しました。これらの主張は、インタビューからの引用に基づいてモデルが作成したものです。
その後、Britneyは生成された500の主張全てを、インタビューに参加した一人一人と確認していきました。これは、AIが生成した内容が正しいかどうかを参加者自身に判断してもらうためです。多くの場合、参加者は主張が正しいと認めましたが、最初のエラー率は約5％でした。
ということは25件だねnishio.icon
エラーの内容は様々で、カテゴリが間違っていたり、ニュアンスが欠けていたり、完全に誤っていたりしました。例えば、AIが「元囚人（ex-convict）」という不適切な言葉を使ったカテゴリを作ってしまったこともありました。参加者はインタビューでそのような言葉を使っていなかったので、モデルが自ら生成したものです。
Britneyらは、修正可能なエラーを直し、最終的に修正できないエラーを3％未満に抑えるまで、何度もイテレーションを繰り返しました。かなりの時間と労力を要しましたが、最終的にBritneyも参加者も、レポートが正確にコミュニティを表現していると感じられるようになったとのことです。
このように、AIが生成した内容を人間が丁寧に確認し、修正を繰り返すことで、精度の高い結果を得ることができたようです。一方で、完全に自動化するのは難しく、人間の目によるチェックが不可欠であることも示唆されています。